都会|水位_阿里云肖文鹏：边缘云创新场景探索与实践

篇首语：本文由编程笔记#小编为大家整理，主要介绍了阿里云 肖文鹏：边缘云创新场景探索与实践相关的知识，希望对你有一定的参考价值。

在9月16日下午召开的边缘云论坛上&＃xff0c;阿里云高级技术专家 肖文鹏发表了题为《边缘云创新场景探索与实践》的精彩演讲。

中心&＃43;边缘的新型云计算架构体系

肖文鹏首先介绍了中心&＃43;边缘的新型云计算架构体系&＃xff0c;目前阿里云有20多个数据中心&＃xff0c;即传统的中心云&＃xff0c;这些中心具有较大的单点规模&＃xff0c;并且拥有较强的计算以及存储能力&＃xff0c;但是距离终端较远。

相较于中心云&＃xff0c;边缘节点单点规模较小&＃xff0c;能承载的计算以及存储规模有限。但正是由于这一特性&＃xff0c;使得边缘节点能够更加灵活快速的铺开&＃xff0c;目前阿里云已经拥有超过2800个边缘节点。这些节点遍布全球各地以及不同运营商&＃xff0c;并且距离终端用户更近。

中心和边缘一起&＃xff0c;面向各类应用以及产业互联网场景&＃xff0c;提供一体化的解决方案。

在5G时代下&＃xff0c;视频和图片因其强大的信息承载力&＃xff0c;已经成为数据内容的主要载体和信息传播的主要方式&＃xff0c;根据爱立信最新报告显示&＃xff0c;76%的网络数据为视频和图片&＃xff0c;也就是视图。而5G的大带宽、低时延、广连接的特性激活了视频监控、云游戏、物联网等场景应用&＃xff0c;从消费互联网到产业互联网的延伸&＃xff0c;更加促进了终端应用和视图数据的爆发。

这些终端和数据具有位置分散、规模大、以及价值密度相对较低等特点。以摄像头为例&＃xff0c;IHS的研究指出&＃xff0c;目前全球有10亿个监控摄像头在持续的产生视图数据。这个数据量是ZB级&＃xff0c;但其中绝大部分数据价值较低&＃xff0c;我们更需要留存其中的关键片段以及其结构化信息&＃xff0c;这样的场景和需求对计算和存储的方式带来了严峻挑战和根本性变化。

基于边缘的新一代接入、计算以及存储的分布式系统架构有效的解决了这样的问题。它能够将80%以上的流量、计算以及数据收敛到本地&＃xff0c;显著的降低网络传输以及存储成本、提升计算效率&＃xff0c;同时带来超低延迟的体验。

在这样的云计算体系之上构建业务系统&＃xff0c;其核心在于网、算、管、存四部分。

肖文鹏以城市大脑为例进行了讲解&＃xff0c;他说&＃xff0c;终端设备如摄像头分布在全国各地&＃xff0c;位置相对分散且流量分布不均。一些重计算如切片录制、实时AI分析等需要回云后在中心完成。同时由于数据规模之大&＃xff0c;对于终端设备管理、视图内容的检索等&＃xff0c;带来很大的挑战。最后&＃xff0c;由于海量的数据需要回云&＃xff0c;对成本、时延等等&＃xff0c;都带来很大的问题。

回到核心&＃xff0c;如何提供一张就近、位置无感的接入、计算和存储网络&＃xff0c;成为了视图上云的首要任务。同时&＃xff0c;由于不同业务需求以及资源的异构&＃xff0c;比如CPU、GPU、ARM阵列等&＃xff0c;需要我们有按需的弹性计算能力&＃xff0c;并且需要和接入网紧密结合。其次&＃xff0c;面对海量的终端设备以及视图数据&＃xff0c;云边一体的视图管理以及安全的云边通道&＃xff0c;是数据流转的关键。最后&＃xff0c;由于视图数据价值密度的差异&＃xff0c;我们需要将大部分数据在边缘进行卸载&＃xff0c;同时经过计算&＃xff0c;将高价值以及序列化数据回云&＃xff0c;其核心&＃xff0c;就是解决如何存的问题。

边缘云创新场景-视图计算

综合对上述问题的思考&＃xff0c;边缘创新团队基于阿里云广覆盖的ENS底座&＃xff0c;孵化出视图计算平台。它主要面向视图以及终端上云场景&＃xff0c;如直点播、安防监控、城市大脑、云游戏等&＃xff0c;提供了位置无感的链接、计算以及周期性存储服务。

视图计算从基础设施开始&＃xff0c;通过资源纳管、虚拟化以及资源切片&＃xff0c;将资源进行分池&＃xff0c;并且提供多租隔离的能力。同时利用网、算、存一体化的调度&＃xff0c;屏蔽底层异构的资源以及物理位置&＃xff0c;根据业务特性、终端位置和资源状态&＃xff0c;进行协同调度&＃xff0c;在保障业务低延时、高可用的同时&＃xff0c;实现业务对计算、存储和连接的位置无感。

应用场景较为广泛&＃xff0c;比如在安防、交通物流等摄像头上云场景&＃xff0c;设备/流媒体接入和处理会综合考虑节点算力、网络带宽和存储容量等状态&＃xff0c;就近选取最匹配的节点&＃xff0c;节点位置更靠近内容的生产端&＃xff0c;也就是视图终端。而云游戏等场景&＃xff0c;需要特定的渲染计算资源&＃xff08;如ARM板卡&＃xff09;&＃xff0c;同时也更靠近内容的消费端&＃xff08;手机端&＃xff09;&＃xff0c;当需要多人观战直播时&＃xff0c;又可以推流到CDN网络进行分发和异地观看。

视图计算云-边-端协同架构

肖文鹏表示&＃xff0c;云、边、端一体化的协同架构是视图计算的核心&＃xff0c;也是未来边缘计算的发展趋势。

终端设备负责视图内容的生产、采集以及上传&＃xff0c;同时一些瘦终端也会负责视图的解码和播放。

视图计算基于广覆盖的边缘节点构建了分布式接入网关&＃xff0c;能够与视图终端快速构建安全、低延迟的双向通道&＃xff0c;实现了多样化的终端上云能力。同时也支持视频以及图片的快速上传。这些视图内容会在边缘就近进行周期性存储。同时也会与计算联动&＃xff0c;在同节点或者临近节点内进行计算&＃xff0c;如录制切片、AI处理等。计算的结果如AI序列化数据、有效视频片段等&＃xff0c;通过云边安全、可靠的回云通道&＃xff0c;实现快速回云。节点资源也会根据水位进行弹性伸缩&＃xff0c;同时节点间也会进行协同和灾备。

视图计算会在中心进行统一的节点以及视图管理&＃xff0c;同时进行一体化的服务编排以及Meta汇聚。视图终端会在中心映射为一个影子设备&＃xff0c;对影子设备的操作&＃xff0c;都会通过信令通道快速的下发到终端执行并得到反馈。
通过云、边、端的协同&＃xff0c;用户不需要再关心云的具体位置&＃xff0c;从而实现只有一个交互面&＃xff0c;给用户一朵云的体验。

位置无感的多点协同计算

在计算方面&＃xff0c;视图计算经过多样化的场景积累和打磨&＃xff0c;提供了三种典型的计算能力。

第一种是基础计算&＃xff0c;主要面向直点播场景&＃xff0c;它包含转码、录制、截图等。通过对编码器的优化&＃xff0c;在相同画质下尽可能降低码率&＃xff0c;实现窄带高清。同等画质可节省20%-40%的带宽以及存储空间。

第二种是视图AI计算。结合达摩院在视觉算法上积累&＃xff0c;视图计算提供各种场景化、结构化的AI分析能力&＃xff0c;如移动侦测、人脸识别、事件监测等。

第三种是自定义计算。视图计算打破自身计算边界&＃xff0c;允许用户自主上传算子进行托管&＃xff0c;用户可根据自身业务按需申请算力&＃xff0c;极大降低业务接入成本。

这些计算最大的特征是算随网动。计算随着数据的流动而展开&＃xff0c;在每个流转节点进行数据卸载和分流计算&＃xff0c;避免全量数据回云&＃xff0c;实现中心算力的下沉以及终端算力的上移。同时&＃xff0c;由于计算节点更靠近终端&＃xff0c;在计算时延、响应速度等方面&＃xff0c;都会有大幅提升。另外也避免的大量数据的回云&＃xff0c;比如互联网直播场景&＃xff0c;对于80%无人或者极少人观看的冷流&＃xff0c;可以在边缘直接收敛&＃xff0c;从而极大降低回云带宽。

可自定义的场景计算

在很多场景下&＃xff0c;用户可能已经拥有了自己的算子或者应用&＃xff0c;这些可能是自研&＃xff0c;也可能来自第三方。视图计算提供了可自定义的场景计算能力&＃xff0c;用户可将算子托管到视图计算。

肖文鹏以云游戏为例讲解道&＃xff0c;游戏包就是一种算子或应用。游戏厂商上传游戏包后&＃xff0c;会在云端发起算子托管的流程&＃xff0c;视图计算会内部对应用进行审核并加入应用市场。

下一步配置好渲染规格后&＃xff0c;云端会进行兼容性适配&＃xff0c;同时进行算力评估来计算所需的资源。

接下来会进行算子的编排以及部署&＃xff0c;这时候&＃xff0c;用户无需关心计算资源的生产和管控&＃xff0c;视图计算会实现资源的弹性伸缩和多维度的负载均衡&＃xff0c;并且保证就近接入。其中为了资源复用率的提升&＃xff0c;视图计算也会尽可能的将不同计算进行混跑。

当游戏开始运行的时候&＃xff0c;我们也会实时的对任务进行画像分析&＃xff0c;动态校准资源消耗。比如游戏的接入人数、不同的分辨率、码率和输出规格等&＃xff0c;都会一定程度上影响实际的资源消耗&＃xff0c;整体的算力是动态上下浮动的&＃xff0c;实时的动态分析和校准&＃xff0c;可以保证调度的精准度&＃xff0c;最终带来良好的游戏体感。

这种托管的模式&＃xff0c;使终端不再需要具备复杂的计算能力&＃xff0c;只需要简单的播放&＃xff0c;即可享受超强的体验。对于云厂商来说能够非常好的实现资源复用。同时对于客户来说&＃xff0c;可以更加灵活、敏捷的进行部署和迭代&＃xff0c;并且有效降低成本。

位置无感分布式协同存储

视图计算的另一个核心&＃xff0c;是解决海量视图数据的存储问题。刚刚我们说到&＃xff0c;终端上云往往具有位置分散、数据规模大、值密度极低的特点&＃xff0c;同时还有一点就是带宽反转&＃xff0c;上行带宽远大于下行。长期的回云会造成较大的带宽压力以及存储成本&＃xff0c;同时最重要的一点&＃xff0c;无法保证就近、低延迟。

视图计算提供了位置无感的分布式协同存储。全球各地的数据源都可以通过视图计算在边缘节点就近存取&＃xff0c;存储的位置也会参考数据接入和计算的位置&＃xff0c;确保整体亲和性。

同时&＃xff0c;视图计算通过边缘加速网络解决了跨地域、跨运营商上传延迟大、速度慢等问题&＃xff0c;实现了回云的中转加速&＃xff0c;提供了高可靠的回云通路。

依靠新的协同存储&＃xff0c;我们可以将终端产生的大量视图数据周期性的存储在边缘&＃xff0c;比较典型的如摄像头的周期录像。同时依靠与计算相结合&＃xff0c;我们可以将我们所关心的关键视频片段以及AI分析等序列化的结果进行回云&＃xff0c;并长期保存。

分布式协同存储平台

在整体架构上&＃xff0c;通过边缘统一网关进行异构资源的适配&＃xff0c;不管是从API、SDK还是授权体系&＃xff0c;完全兼容现有的使用方式&＃xff0c;这对于海量的存量设备来说&＃xff0c;只需要简单配置&＃xff0c;便可以快速将视图数据上传到协同存储&＃xff0c;从而确保给用户云边一体化的使用体验&＃xff0c;并且整体传输速度提升40%以上。

基于多点协同调度的能力&＃xff0c;它实现了视图数据的就近存取&＃xff0c;并且复用CDN场景下闲置的上行带宽&＃xff0c;从而最大限度的利用带宽资源。同时它可以快速的根据单点水位进行资源动态规划以及数据复制和迁移&＃xff0c;实现服务的高可用和数据的高可靠&＃xff0c;整个过程用户无感知。

同时阿里云搭建了可靠、安全的数据回云通路&＃xff0c;可以按需在闲时将数据中转回云&＃xff0c;从而实现数据的分级管理&＃xff0c;用户可以灵活调整数据价值和成本之间的平衡点。

视图上云一站式PAAS服务

视图计算提供了视图上云的一站式PAAS服务&＃xff0c;包括视图数据的采集、计算、存储以及内容消费。接下来我们将重点放到视图终端的链接部分。

肖文鹏表示&＃xff0c;链接的重心主要在于以下两点&＃xff1a;
第一&＃xff0c;设备的接入和管控。如设备的录入、认证、事件采集等。同时也包含一些如语音对讲、PTZ云台、摄像头机位控制等操作。
第二&＃xff0c;视图数据的接入和管理。如流媒体的接入、协议转换、视图上传以及内容检索等。

链接是视图上云的第一环&＃xff0c;结合前面已经介绍过的位置无感的计算平台以及分布式协同存储&＃xff0c;共同构成了视图上云的一整套网、算、管、存体系。链接的易用性、安全性、可靠性等因素很大程度上决定了视图上云的规模。

终端一键上云&＃xff0c;引领行业从封闭走向开放
终端设备以及上云标的准具有多样化的特性。以安防监控领域为例&＃xff0c;就包含国标28181、ONVIF等多种协议&＃xff0c;同时很多设备厂商均创建了自己的私有协议&＃xff0c;且协议相对各自封闭&＃xff0c;这使得视图上云增加了很大的适配难度&＃xff0c;并且安全性、兼容性无法得到保障。

为了让视图终端更加便捷的一键上云&＃xff0c;视图计算推出了两个安全、可靠的上云通道&＃xff0c;即信令传输通道和数据传输通道。信令通道用于实现云与终端设备的信令控制和双向通讯。数据通道用于流媒体等视图内容的接入与消费。

同时我们也推出了开放设备上云协议ODCAP。它拥有多样化的视图终端适配性&＃xff0c;支持主流信令传输如websocket、mqtt等。同时在数据传输上&＃xff0c;支持rtmp、HLS、webrtc等流媒体传输协议。任何支持这类协议的终端&＃xff0c;均可快速的使用开放协议一键上云。同时我们提供了透明的双向通道&＃xff0c;厂商和开发者也可按需自定义扩展。

在安全性以及兼容性上&＃xff0c;我们也做了一系列增强&＃xff0c;保证了一键上云的开放性、易用性、安全性和灵活性。通过一键上云体系&＃xff0c;我们希望能够将之前无法上云的内容快速上云&＃xff0c;引领这些行业从封闭走向开放。

肖文鹏在研究最后表示&＃xff0c;目前&＃xff0c;视图计算已经在多样化的场景下落地&＃xff0c;持续为客户提供优质、可靠的云服务。在未来&＃xff0c;希望能够和更多的行业伙伴一起持续探索&＃xff0c;推动整个边缘云行业的快速发展&＃xff0c;为客户创造更大的价值&＃xff01;